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Анотація.Розглянуто деякі питання використання безпілотної авіації, космічних апаратів з моніторин- 
гу наслідків техніко-екологічних подій та точного землеробства. Удосконалення наукових підходів до ство- 
рення програмно-технічних засобів використання безпілотних літальних апаратів (БПЛА) й космічних апаратів 
для моніторингу з повітря територій - сучасна актуальна проблема. Пропонована технологія спрямована на 
підвищення точності розпізнавання об'єктів інфраструктури з отриманням числових значень їх тривимірних 
координат. Метою є підвищення якості моніторингу довкілля з використанням нейромережевої ідентифікації та 
класифікації об'єктів на багатозональних космічних знімках та багатозональних зображеннях, одержаних БП- 
ЛА. Дослідження включають теоретичні дослідження та рішення прикладних завдань. Практичні дослідження 
засновані на проведенні експериментів, програмної реалізації й тестуванні алгоритмів та технології. Удоскона- 
лено ефективний метод відеоспостереження за територією. Завданням досліджень є підвищення точності розпі- 
знавання об'єктів на поверхні землі (конкретних об'єктів інфраструктури, стану рослинності сільськогосподар- 
ських угідь). Вирішення цієї проблеми відбувається одночасно за двома напрямками. Перший напрямок: техні- 
чний результат забезпечується тим, що технологія пропонує використання БПЛА, обладнаного двома відеока- 
мерами. Другий напрямок - це використання наукової ідеї, що полягає у розробці методу спільної комп'ютерної 
обробки цифрових та аналогових зображень, отриманих з БПЛА, а також квазіодночасних та багаторазових 
багатозонних космічних зображень. Новим результатом дослідження є розроблена структура даних для збері- 
гання моделі процесу розпізнавання, що дозволяє спільно зберігати різнорідні характеристики та функції при- 
належності різних типів в тих самих таблицях. 


Ключові слова: техно-екологічні події, робототехніка, розпізнавання образів, БПЛА. 


Вступ мації про стан рослинності та грунту. 

Удосконалення наукових підходів до Отримання подібної інформації можливе 
створення  програмно-технічних засобів лише за умови використання дистанційно- 
використання безпілотних літальних апа- го зондування сільськогосподарських по- 
ратів (БПЛА) та космічних апаратів для лів, що дає можливість оперативно вияви- 
дистанційного моніторингу з повітря тери- ти уражені хворобою ділянки рослинності. 
торій (наприклад, у місцях ліквідації тех- Виявлення захворювання на ранніх стадіях 
но-екологічних подій (ТЕП), сільськогос- розвитку дозволяє з мінімальними витра- 
подарських угідь тощо) - сучасна актуаль- тами та оперативно локалізувати та вилі- 
на проблема. кувати захворювання. 

Комплексна оцінка збитків від ТЕП є 
надзвичайно важливою, бо тільки після Постановка проблеми 
цього можна планувати відновлення ін- Завдання досліджень авторів полягає 
фраструктури. У ході цього, крім іншого, у підвищенні якості моніторингу навколи- 
необхідно вирішити проблему розпізна- шнього середовища з використанням ней- 
вання локальних об'єктів, отримання три- ромережевої ідентифікації та класифікації 
вимірних координат вибраних об'єктів. Що об'єктів на багатозональних космічних 
стосується точного землеробства, то роз- знімках та багатозональних зображеннях, 
виток цього напряму передбачає наявність отриманих з БПЛА. 


точної та оперативно оновлюваної інфор- 


97 


І55М 2710-1673. Агіїйсіа! Іпіеійєепсе. 2021. Мо 2 


-шететет з іа зс еоет-т- 


Аналіз останніх досліджень та пуб- 

лікацій 

Таким чином, завданням досліджень 
авторів є підвищення точності розпізна- 
вання об'єктів на поверхні землі (об'єктів 
інфраструктури чи стану рослинності сіль- 
ськогосподарських угідь). Це також пов'я- 
зано з проблемою пошуку, виявлення та 
ідентифікації об'єктів у заданому районі, з 
визначенням координат цих об'єктів, а та- 
кож відстеження нових виявлених об'єктів 
з подальшою передачею фото- або відеоі- 
нформації в реальному часі |, 2, 3, 41. Ав- 
тори мають напрацювання у цій галузі. 
Зокрема, одним із актуальних напрямів 
досліджень Департаменту Хо 265 Інституту 
кібернетики імені В. М. Глушкова Націо- 
нальної академії наук України є створення 
технологій та систем розвідки після ТЕП, 
які найчастіше супроводжуються руйну- 
ванням інфраструктури. Департамент Хо 
265 Інституту кібернетики імені В. М. 
Глушкова Національної академії наук Ук- 
раїни давно працює над удосконаленням 
безпілотних літальних апаратів та адапта- 
цією їх можливостей для виконання бага- 
тьох важливих та актуальних для промис- 
ловості та сільського господарства Украї- 
ни завдань. 

Так, у 2017 році співробітник Депар- 
таменту Хе 265 Прокопчук В. В. брав уч- 
асть у виготовленні та випробуваннях цих 
моделей БПЛА, а 25 серпня 2017 р. пред- 
ставив вантажний безпілотник (рис. 1), 
який встановив рекорд України, підняв у 
повітря гирю масою 16 кг. З того часу БП- 
ЛА знайшли своє застосування у багатьох 
галузях промисловості, 1 Департамент Хо 
265 продовжив роботу щодо вдосконален- 
ня технологій з використанням БПЛА. Ав- 
тори з Державної наукової установи "Об'є- 
днаний інститут проблем інформатики 
Національної академії наук Білорусі" ма- 
ють значні напрацювання в галузі попере- 
дньої обробки та класифікації об'єктів на 
зображеннях різної модальності та кольо- 
ровості, аналізу зображень із застосуван- 
ням нейронних мереж, цифрової обробки 
сигналів та зображень, розпізнавання обра- 
зів. 
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Мета дослідження 

Завданням досліджень авторів є під- 
вищення точності розпізнавання об'єктів 
на землі (об'єктів інфраструктури чи стану 
рослинності сільськогосподарських угідь). 
Дослідження включають як теоретичні 
дослідження, так і рішення прикладних 
завдань. Математичною основою обробки 
зображень є обчислювальний апарат розпі- 
знавання образів. Практичні дослідження 
базуються на проведенні експериментів, 
програмної реалізації та тестуванні алго- 
ритмів та технології. 


Пропонований підхід 

Пропонована технологія спрямована 
на підвищення точності розпізнавання об'- 
єктів інфраструктури при отриманні чис- 
лових значень їх тривимірних координат. 
Особливість підходу полягає в тому, що 
вирішення цієї проблеми відбувається од- 


ночасно за двома напрямками. 


Рис. 1. Повідомлення про встановлення рекорду 
України: безпілотний квадрокоптер підняв 16 кг 
тестового вантажу на висоту 36 метрів. Моніторинг 
українського БПЛА моделі вулкана, 
що діє в Ісландії 


Перший напрямок: технічний резуль- 
тат забезпечується тим, що технологія 
пропонує використання БПЛА, який має 
дві відеокамери. БПЛА синхронно захоп- 
лює двовимірні зображення об'єктів місце- 
вості, а потім обробляє їх стереопрограма- 
ми, використовуючи кадри зображення з 
обох камер 1 послідовні кадри з кожної з 
них. 

Таким чином, користувачеві надаєть- 
ся інформація в реальному часі про об'єк- 
ти, що спостерігаються, та їх тривимірні 
координати. Після цього виконується від- 
повідне коригування карти району дослі- 
дження. Якщо необхідно уточнити триви- 
мірні координати об'єктів, їхнє повторне 
відеоспостереження проводиться на ново- 
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му маршруті з уточненими швидкістю та 
висотою безпілотного літального апарату. 
Даний принцип відеоспостереження 
територій закладено в сутності винаходу 
під назвою "Спосіб відеоспостереження за 

територією з об'єктами на ній", на який в 

2020 році отримано патент Хо 122736 від 

28.12.2020 р. 

Більш докладно послідовність дій 
щодо вирішення проблеми виглядає так: 

- виконувати відеоспостереження за те- 
риторією з об'єктами на ній, що перед- 
бачає інфрачервону або мультиспектра- 
льну зйомку місцевості з двома відеоз- 
йомками; 

- камери, встановлені на борту безпілот- 
ного розвідувального літака, одночасно 
здійснюють багатоканальну реєстрацію 
динамічної сцени місцевості в реально- 
му часі, синхронно з двома бортовими 
відеокамерами, розміщеними на борту 
БПЛА; 

- камери розташовані на фіксованій відс- 
тані одна від одної в площині, перпен- 
дикулярній напрямку руху. Відстань ви- 
значається з урахуванням необхідної 
точності розрахунку поточних тривимі- 
рних координат об'єктів, що реєстру- 
ються; 

- ця інформація передається на наземний 
пункт управління та іншим віддаленим 
споживачам під час роботи в масштабі 
часу, близькому до реального; 

- двопотокове відео або супутні зобра- 
ження місцевості, отримані таким чи- 
ном з бортових відеокамер, оперативно 
обробляються в реальному часі в назем- 
ному пункті управління з використан- 
ням комп'ютерних програм для обробки 
стереоаерофотознімків; 

- таким чином, користувач отримує в ре- 
альному часі тривимірні координати 
об'єктів відеоспостереження; 

- она запит наземного пункту управління 
БПЛА повторно проходить за зміненим 
маршрутом розвідки з нової наземної 
контрольної точки, з рекомендованою 
новою швидкістю та висотою польоту 
розвідувального літака; 

- вносити зміни до карти місцевості в 
наземній контрольній точці, ідентифі- 
куючи змінені наземні природні та шту- 
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чні об'єкти, вносити до карти відповідні 
виправлення. 

Другий напрямок - використання на- 
укової ідеї, що полягає у розробці методу 
спільної комп'ютерної обробки цифрових 
та аналогових зображень, отриманих з 
БПЛА, а також квазіодночасних та багато- 
разових багатозонних космічних зобра- 
жень. Нині цей напрямок розвивається 
Департаментом Хо» 265 Інституту кіберне- 
тики імені В. М. Глушкова Національної 
академії наук України спільно із Держав- 
ною науковою установою "Об'єднаний 
інститут проблем інформатики Національ- 
ної академії наук Білорусі". 

Розроблено концепцію та проєкт ме- 
тоду комплексної нейромережевої обробки 
різночасових дистанційних зображень пе- 
вної ділянки земної поверхні, отриманих з 
різних носіїв: з космічного корабля та з 
обладнання, встановленого на борту БПЛА 
(рис. 2). 

У співпраці з Державною науковою 
установою "Об'єднаний інститут проблем 
інформатики Національної академії наук 
Білорусі" у 2020 році до Національного 
фонду фундаментальних досліджень Укра- 
їни подано заявку на фінансування спіль- 
ного дослідницького шпроєкту "Методи 
комплексної нейромережевої обробки різ- 
ночасних просторових супутникових зо- 
бражень земної поверхні, отримані з БП- 
ЛА". Заявка проєкту підтримана, спільна 
співпраця з цієї теми продовжується. 

У глобальному масштабі метою цьо- 
го спільного | українсько-білоруського 
проєкту є підвищення якості моніторингу 
довкілля за допомогою нейромережевої 
ідентифікації та класифікації об'єктів у 
багатозонному просторі супутникових та 
багатозонних зображень, отриманих із бо- 
рту БПЛА. 

Тим самим вирішується фундамента- 
льна і водночас прикладна наукова про- 
блема розпізнавання образів для завдань 
оптимального землекористування, що є 
одним із найважливіших завдань інтелек- 
туальних систем підтримки раціонального 
ресурсозберігаючого  природокористуван- 
ня. Українська та білоруська сторони 
вкладають свій багаторічний досвід у цю 
сферу впровадження інноваційних методів 
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розпізнавання образів. 


Білоруський штучний Ми 
супутник Землі "БелКА" 
для віддаленого 
моніторингу 
територій 
природокориставання 


БПЛА літакового 
типу (Україна) 


нас 


РЯ СИРО 
БПЛА коптерного СА | 


типу (Україна) 


Сільгоспугіддя 


Рис. 2. Ілюстрація об'єднаного наукового україно- 
білоруського проєкту 


Завдання розпізнавання об'єктів і си- 
туацій актуальне в таких областях, як ви- 
значення типів об'єктів, що знаходяться в 
повітрі, за даними з різних джерел інфор- 
мації, діагностика стану пацієнтів за ре- 
зультатами інтерв'ю та аналізів, діагности- 
ка стану обладнання для різних цілей. 

Під розпізнаванням розуміється про- 
цес отримання вихідної інформації про 
належність кожного досліджуваного еле- 
менту до певного класу на основі аналізу 
інформації, що надходить про досліджува- 
ні елементи середовища, застосування ме- 
тодів перетворення вхідної інформації у 
вихідну інформацію. 

У проекті досліджується модель про- 
цесу розпізнавання, характерна риса якої - 
реалізація розпізнавання на основі аналізу 
набору кількісних та якісних інформацій- 
них ознак із різних джерел. 

Формальна теоретико-множинна мо- 
дель процесу розпізнавання перебуває у 
стадії розробки. Згідно з моделлю, щоб 
віднести об'єкт або ситуацію до певного 
класу, необхідно визначити набір груп ат- 
рибутів різних типів, що дозволяють іден- 
тифікувати об'єкти (ситуації) певного кла- 
су. Для проведення розпізнавання експер- 
ти на підставі досвіду або статистичних 
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даних визначать нечітку функцію належ- 
ності об'єкта, що спостерігається, до кож- 
ного класу з набором значень |8, 1. 

Проект - це вивчення подання такої 
функції для кількісних ознак у вигляді гіс- 
тограми. Для значень якісних характерис- 
тик кожного значення визначається конк- 
ретне значення. Новим результатом дослі- 
дження є розроблена структура даних для 
зберігання моделі процесу розпізнавання, 
яка дозволяє спільно зберігати різнорідні 
характеристики та функції приналежності 
різних типів в тих самих таблицях. 

Запропонована структура може бути 
використана в одній таблиці для побудови 
програмного забезпечення для систем роз- 
пізнавання. Слід зазначити, що реалізація 
такого рішення забезпечує підвищення 
надійності зберігання даних за рахунок 
зменшення компонентів структури бази 
даних, але збільшує складність алгоритмів 
зберігання та отримання даних. 

Партнери проекту планують (за ра- 
хунок використання розробок проекту) 
значно підвищити надійність розпізнаван- 
ня обстежених територій, сільськогоспо- 
дарських угідь та промислових об'єктів з 
метою моніторингу територій підвищеного 
ризику виникнення надзвичайних ситуа- 
цій, зокрема деяких можливих техноген- 
них катастроф. 

Знімки земної поверхні отримані за 
допомогою відповідної бортової апаратури 
дистанційного зондування Землі (ДЗЗ), 
розміщеної на космічних апаратах (мож- 
ливе надання знімків білоруською сторо- 
ною, а саме з білоруського супутника "Бе- 
ЛлКА"), так і на відповідних безпілотних 
літальних апаратах з подальшою спільною 
комп'ютерною обробкою інформації, оде- 
ржаної за допомогою дистанційного зон- 
дування (рис. 3). 

У проєкті передбачено розробку ал- 
горитму попередньої обробки зображень з 
урахуванням особливостей цифрових з30- 
бражень з космічного корабля та БПЛА. 

Зображення, отримані з космічного 
корабля, мають розбіжність кольорів, що 
надалі погіршує спільну обробку. На етапі 
попередньої обробки пропонується вико- 
ристовувати алгоритм усунення неузго- 
дженості колірних каналів зображень дис- 
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танційного зондування Землі, заснований 

на пошуку ключових точок, який відрізня- 

ється їх додатковою перевіркою на кожен 
канал. 

Алгоритм складається з наступних 
кроків: 

- крок 1 - вибір методу пошуку ключових 
точок; 

-  крок2 - поділ зображення на канали; 

- крок 3 - пошук ключових точок кожного 
каналу; 

- крок 4 - обчислення дескрипторів клю- 
чових точок для кожного каналу; 

- крок 5 - вибір одного з каналів як базо- 
вого; 

- крок 6 - вибір каналу перетворення; 

- крок 7 - пошук відповідності між де- 
скрипторами, використовуючи  алго- 
ритм ЕТ АМХ для пари каналів. ЕІ.АММ 
(Базі Ілбгагу Їог Арргохітаїє Меаге5і 
МеієрБог5)- це бібліотека швидкого 
пошуку приблизних найближчих сусі- 
дів; 

- крок 5 - фільтрація пар, що збігаються, 
по відстані між їх дескрипторами; 

- крок 9 - пошук матриці перспективного 

перетворення з урахуванням знайдених 
пар точок за допомогою робастного ме- 
тоду з урахуванням КАМ5АС. 
ВАМ5АС (ВАМадот 5Атріеє Соп5епзи5) 
- це стабільний метод оцінки парамет- 
рів моделі на основі випадкових вибі- 
рок; 

- крок 10 - перетворення обраного каналу 
в область основного каналу з викорис- 
танням матриці перспективного перет- 
ворення; 

- крок 11 - пошук кордону каналів, що 
кадруються; 

- крок 12 - обрізання обох каналів; 

- крок 13 - перехід до кроку 5 (якщо ка- 
нали є); 

- крок 14 - об'єднання каналів зображен- 
ня. 

Приклад того, як алгоритм працює, 
показаний на рис. 3. На рис. 3 а) та б) по- 
казані канали червоного та ближнього ін- 
фрачервоного кольорів зображення диста- 
нційного зондування. Як видно з малюнка, 
ці колірні канали значно відрізняються 
один від одного, тому багато ключових 
точок першого каналу відсутні на другому 
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і навпаки. Після кількох ітерацій пошуку 
та перевірки вузлових точок стику було 
виконано вирівнювання, показане на рис. 3 
в). Другий етап проєкту - розробка алго- 
ритмів побудови дескрипторів об'єктів з 
урахуванням особливостей зображень, 
отриманих з БПЛА та з космічних апара- 
тів. 

Використання  мультиспектральних 
зображень, отриманих з БПЛА та з косміч- 
них апаратів, у завданнях розпізнавання 
стану сільськогосподарської рослинності 
має широкі перспективи за рахунок мож- 
ливості залучення додаткової інформації, 
яку не можна отримати лише з даних ви- 
димого спектру. 


Рис. 3. Приклад колірних каналів зображення ДЗЗ 
та результат їх суміщення: а) червоний; б) ближній 
інфрачервоний; в) суміщений 


Різні індекси рослинності є важливи- 
ми інформативними індикаторами стану 
рослинності, що використовуються для 
оцінки на основі мультиспектральних зо- 
бражень. 

Індекс може приймати значення від 
-1 до 1. Для рослинності індекс МІОМІ 
(Хогтай7ед РіНегепсе Уебегайоп Паех) 
приймає позитивні значення, що більше 
фітомаса обсягу, то вище значення індек- 
су. 

На значення індексу впливають ви- 
довий склад рослинності, її закритість, 
стан, освітленість схилів та кут нахилу 
поверхні, колір грунту під убогою рослин- 
ністю. Якщо густота рослинного покриву 
понад 7096, індекс помірно чутливий до 
зміни грунтового фону. Якщо густина рос- 
линності становить менше 3090 і більше 
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8096, використовувати МРІЇ не слід. 


Наукова новизна. Застосування та 

висновки 

Наукова новизна полягає у розробці 
та інтеграції наступних методів та алгори- 
тмів: 

- удосконалений ефективний метод ві- 
деоспостереження за територією з об'є- 
ктами на ній, заснований на викорис- 
танні мінімальної кількості відеокамер, 
на відміну від конкуруючих сучасних 
рішень; 

- методи та алгоритми побудови квазіод- 
ночасних та різночасових зображень, 
отриманих за допомогою багатозонних 
цифрових та аналогових пристроїв фо- 
рмування зображень, розміщених на 
БПЛА та цифрових засобів формування 
зображень орбітальної бази; 

- алгоритми попередньої обробки зобра- 
жень та виділення інформативних ознак 
з урахуванням особливостей цифрової 
фотозйомки з борту космічного корабля 
та БПЛА; 

- методи та алгоритми побудови дескрип- 
торів об'єктів майданчика на мульти- 
зонних зображеннях різної модальності 
та кольору; 

- нейромережеві моделі ідентифікації та 
класифікації об'єктів за зображеннями, 
отриманими за допомогою БПЛА та ор- 
бітальної основи; 

- метод комплексної нейромережевої об- 
робки шпросторово-часових зображень 
земної поверхні та пов'язаних дистан- 
ційних зображень однієї 1 тієї ж поверх- 
ні, отриманих з БПЛА. 

При розробці технології спільної 
комп'ютерної  гармонізаційної 0 обробки 
квазіодночасних та багаторазових багато- 
зонних зображень, отриманих з космічного 
корабля та цифрової, аналогової антени 
БПЛА, фотографій планується творчо ви- 
користати досвід у галузі методів розпі- 
знавання зображень фахівців Інституту 
кібернетики імені В. М. Глушкова Націо- 
нальної академії наук України та білорусь- 
ких партнерів - Державної наукової уста- 
нови "Об'єднаний інститут проблем інфо- 
рматики Національної академії наук Біло- 
русі". 
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Це необхідно для кореляції косміч- 
них зображень з даними супутникового 
моніторингу, подальшої побудови базових 
ознак на зображеннях різної модальності 
та кольору та їх використання для іденти- 
фікації та класифікації об'єктів з викорис- 
танням, наприклад, апарату опорних век- 
торів та нейронних мереж (5, 6, 7, 8). 

Розроблені авторами методи інтелек- 
туалізації обробки даних також адаптовані 
для підприємств  дорожньо-будівельної 
галузі та інших землевпорядних установ, 
які за своєю спеціальністю мають розроби- 
ти відповідні пропозиції щодо зниження 
очікуваних ризиків затоплення сільського- 
сподарських угідь, високої ймовірності 
руйнування стратегічних залізничних та 
автомобільних шляхопроводів Гб, 7). Тобто 
технологія, що розробляється, знадобиться 
не тільки для моніторингу стану території, 
ураженої ТЕП, але і для прогнозування 
можливих небезпечних екологічних явищ. 
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